Random Variable

or
확률 변수

Create : 2024년 10월 14일 24:00Update : 2025년 8월 22일 23:31

# Tag:

Source/KU_ML

Random Variable(확률 변수)

실수 체계의 집합

R

로 Sample Space

Ω

를 매핑시키는 함수.

Discrete: 독립적인 값
Continious: 연속적인 값

그 실수 체계 값은 Discrete하거나 Continious할 수도 있다.

Example

P (X = 1) = 0.6

여기서 $X$ 는 확률 변수, $P$ 는 그 확률 변수의 확률을 계산하는 것이다.
$X$ 는 어떠한 사건을 $1$ 이라는 실수 체계로 매핑시킨 것이라 할 수 있다.

Random Variable의 합

Random Variable

X

와

Y

의 합은, 확률 변수의 치역 값의 합을 치역으로 가지는 새로운 Random Variable

Z = X + Y

을 의미한다.

이는 동시에, 그 새로운 치역을 만족시키는 $X$ 와 $Y$ 의 모든 치역 값의 조합을 의미한다.

예를 들어, $X$ 와 $Y$ 가 주사위의 눈을 치역으로 가진다고 하면, $Z = X + Y$ 의 치역 중 하나인 '3'에 대해 $3 = x + y$ 를 만족시키는 모든 $x, y$ 의 조합을 말한다.
⇒ $(1, 2)$ , $(2, 1)$ 이 그 예시가 된다고 할 수 있다.

이 때, 그 확률 변수의 분포(distribution) $P (Z = z = x + y) = (x, y) : x + y = z \sum P (x, y)$ 라고 할 수 있다. $(x, y)$ 를 동시에 만족시키는 확률이어야 하기 때문이다. 즉, Joint Distribution을 구하는 문제로 변하게 된다.

Independence of Random Variable

만약 두 Random Variable

X

와

Y

가 independent하다면

P (X \leq x, Y \leq y) = P (X \leq x) P (Y \leq y)

or P (X = x, Y = y) = P (X = x) P (Y = y)

좌측을 Joint, 우측을 Individual or Marginal이라고 한다.

$X$ 와 $Y$ 의 정의역이 서로에 대해 어느 정보(information)도 없음을 의미한다.

Pairwise Independence, Mutual Independence

확률에서의 사건의 독립과 마찬가지로, 세 랜덤 변수 중 각각 두 랜덤 변수가 서로 독립(Pairwise Independence :weak)라고 해서, 세 랜덤 변수 모두가 독립(Mutual Independence :strong)한 건 아니다.

Mutual Independence 하다는 것은, 몇 개의 랜덤 변수를 Joint하더라도 독립하여 각 랜덤변수의 확률 함수의 곱으로 나타낼 수 있는 걸 의미한다.

Distribution Functions

Random Variable의 특성에 따라 어떻게 확률이 매핑되는 지를 나타내주는 함수,

Necessary condition:

Non-Negativity: 모든 확률이 음수가 아닐 것.
Nomalization: Random Varaible의 domain에 해당하는 값들에 대한 모든 확률의 합이 1일 것. 이는 확률의 Axiom1에서 비롯된다.

Continious한지, Discrete한지에 따라 PDF 혹은 PMF가 된다.

PMF(Probability mass function)

discrete random variable의 probability. 혹은 distribution

확률 함수 $P (X = 0) = 0.4$ 와 같이 하나의 특정한 확률로 정해진다.

Necessary condition:

모든 확률이 음수가 아닐 것.
Random Varaible의 domain에 해당하는 값들에 대한 모든 확률의 합이 1일 것. 이는 확률의 Axiom1에서 비롯된다.

PDF(Probability density function)

continious random variable의 Probability Density. 혹은 distribution

확률에 비례하는, 확률 밀도가 나오게 된다.

확률 밀도 함수 $f (x)$ 에 대하여(:보통 $f$ 로 표기.)

P (a \leq X \leq b) = \int_{a}^{b} f (x) d x

$f (x)$ 자체는 확률이 아닌, 분포를 나타내는 PDF이다.

$P (X = x)$ 와 같이 어느 한 점에서의 확률에 대해서는, 사실 상 그 값이 0이다. PMF와 달리 위처럼 어떠한 범위에 대해 적분을 통해 계산되는데, 아주 작은 값 $ϵ$ 의 범위에 대해 적분한다고 생각해보자.

P (a - \frac{ϵ}{2} \leq X \leq a - \frac{ϵ}{2}) = \int_{a + \frac{ϵ}{2}}^{a - \frac{ϵ}{2}} f (x) d x \approx F (a) \times ϵ

$F (x)$ 가 $f (x)$ 의 부정적분(사실 상 CDF이다.)이라고 할 때, 위와 거의 비슷한 결과가 나온다. 이 때 $ϵ$ 은 아주 작은 값이므로 $0$ 에 가까워지므로, $P (X = x) = 0$ 이라고 할 수 있다.

CDF(Cumulative distribution function)

X

가 특정한 값

x

이하일 확률을 나타내는 함수.

F (x) = P (X \leq x) = u \leq x \sum P (X = u)

F (x) = P (X \leq x) = \int_{- \infty}^{x} f (X = u) d u

⇒ PDF 또는 PMF에 대해 $x$ 값 이하의 random variable의 확률들을 모두 더한 값.

즉, 면적이 곧 확률을 의미하게 된다. (:보통 $F$ 로 표기)

PMF에 대해서는 계단과 같이 값이 증가하는 형식으로(step function),
PDF에 대해서는 Smooth하게 증가하는 형식으로 그려진다. PDF의 경우에는 적분을 통해 구해진다.

반대로 말하면, 미분하거나 그 차이를 구하면 PDF혹은 PMF를 구할 수 있다.

for PMF,

A^{-}

는

A

바로 직전으로 작은 0이 아닌 확률 값을 가지는 Random Variable event.

P (A \leq X \leq B) = F (B) - F (A^{-})

for PDF, CDF

F (x)

를 미분하면 당연히 PDF가 나오게 된다.

F^{'} (x) = f (x)

P (a \leq X \leq b) = F (b) - F (a)

⇒ Fundamental Theorem of Calculus(FTC)

PDF의 경우, 적분 정리에 따라 이루어지므로, 위에서 strict( $<$ )인지, non-strict( $\leq$ )인지는 중요하지 않고, 모두 동일하게 계산 가능하다.

Necessary Condition

Monotonicity ⇔ Never decrease: 모든 확률은 0보다 크므로, 이를 누적하는 CDF는 감소할 수 없다.
$lim_{x \to a^{+}} F (x) = F (a)$ : 우측에 대해서만 부분적으로 극한값이 같다.
$x \to \infty$ ⇒ $F (x) = 1$
$x \to - \infty$ ⇒ $F (x) = 0$